AI资讯新闻榜单内容搜索-LLaMA

关键词: Megalodon,Transformer,AI架构,AI学术,模型训练

继Mamba之后，又一敢于挑战Transformer的架构诞生了！

关键词: Mistral AI,8x22B MoE,欧洲openai,Llama 2

一条磁力链，Mistral AI又来闷声不响搞事情。

关键词: Stable LM 2,token,Llama 2,Stability AI

Stability AI推出Stable LM 2 12B模型，作为其新模型系列的进一步升级，该模型基于七种语言的2万亿Token进行训练，拥有更多参数和更强性能，据称在某些基准下能超越Llama 2 70B。

关键词: Anthropic,GPT,羊驼,Claude,上下文,AI

Anthropic 发现一种新型越狱漏洞并给出了高效的缓解方案，可以将攻击成功率从 61% 降至 2%。

关键词: 开源大模型,DBRX,微调模型,微调,MoE

【新智元导读】就在刚刚，全球最强开源大模型王座易主，创业公司Databricks发布的DBRX，超越了Llama 2、Mixtral和Grok-1。MoE又立大功！这个过程只用了2个月，1000万美元，和3100块H100。

关键词: 开源大模型,DBRX,微调模型,微调,MoE

这是迄今为止最强大的开源大语言模型，超越了 Llama 2、Mistral 和马斯克刚刚开源的 Grok-1。

关键词: AI芯片,H100,LLM,Llama,WSE-3

AI世界的进化快的有点跟不上了。刚刚，全球最强最大AI芯片WSE-3发布，4万亿晶体管5nm工艺制程。更厉害的是，WSE-3打造的单个超算可训出24万亿参数模型，相当于GPT-4/Gemini的十倍大。

关键词: Meta,Llama 3,AI显卡集群,训练集群,H100,AGI

LLM开源从Infra做起！Meta公布了自己训练Llama 3的H100集群细节，看来Llama 3快来了。

关键词: Llama 3,Meta AI,H100,AI芯片集群

刚刚，Meta 宣布推出两个 24k GPU 集群（共 49152 个 H100），标志着 Meta 为人工智能的未来做出了一笔重大的投资。

关键词: VisionLLAMA,ViT,LLaMA,模型训练

半年多来，Meta 开源的 LLaMA 架构在 LLM 中经受了考验并大获成功（训练稳定、容易做 scaling）。